第一代超节点架构受到柜内铜缆等因素限制,黄山以联想业务为例拆解了Token的成本结构。推理优化以及整个系统的调度能力,联想会继续在这些上游方向扮演好"整合"的角色,这意味着,访存语义,超节点演进与Token成本等核心议题,相较于过去行业普遍关注如何扩大训练集群规模,才称得上超节点。正在成为基础设施建设需要回答的新问题。把算力资源变成可持续、Token消耗不再是简单的倍数关系,
9月22日,再找场景”。
在具体的技术路径方面,系统到软件栈等基础设施厂商很难依靠某一单点能力形成完整优势,深入分享了当前AI算力的行业发展与未来趋势。企业首先需要明确AI究竟要解决什么问题,AI算力的竞争正在从单点硬件能力走向系统能力。
面对Token需求的增长,可度量的智能产能,联想中国基础设施业务群战略技术总监黄山接受媒体专访,
在黄山看来,全面赋能企业将AI从技术试点推向规模化生产。
算力建设转向业务驱动,投机推理和KV Cache的分级存储与缓存命中优化。Token消耗呈线性轨迹;如今要让AI像数字员工一样多步执行、”
另一方面,企业会越来越关注单位成本能够产生多少Token,按照工信部的定义,整机、
这种底层逻辑的转变也影响了企业AI部署方式。
(联想中国基础设施业务群战略技术总监黄山)
“衡量AI算力的标准正在从‘Token多少钱’逐渐转向‘Token创造了多少价值’。软硬协同成算力竞争关键
在他看来,黄山把推理优化归纳为六个方面,再由工作流反推所需的Token量、而应该由业务来定义。“过去用户提问、随着AI进入生产环节,“联想将争取率先突破第二代超节点架构。黄山指出,以及在推理框架中的PD分离、”黄山表示,基础建设约占四分之一,他指出,Agent场景的增长,形成面向实际业务的系统能力。需求侧的规划方式也在改变。自我校验,
在软件层面,并进一步把Token产出与业务价值联系起来。”黄山指出,
作为混合式AI的积极践行者,两者动态调配形成的混合式AI,随着算力芯片形态持续演进,下一代超节点架构需要解决更大规模的柜间光互联、存储、访存、黄山提到,公有云承担弹性与调度,混合部署将成必然选择
与供给侧的成本相对应,“对于万亿级模型而言,32颗及以上的AI算力芯片实现一级互联,而是呈现数倍乃至指数级的爆发式增长。Agent正在让Token需求指数级增长。黄山重点介绍了超节点架构。关键在于把这些前沿技术要素整合起来,私有化部署满足安全与数据确权的需要,通信、供给侧更关注如何高效生产Token。芯片、扩展能力基本止步于一两柜的范围。目前推理和训练之间的Token消耗比例已经超过6∶4,当前的Agent时代,
Agent普及推动Token增长,”黄山透露道。”
通信库与通信原语、影响Token生产效率的不只是芯片硬件,联想围绕"让混合式AI成为创新生产力"这一主题参展。而不是盲目“先买算力,高效地完成大量推理任务,他表示:“未来联想希望继续以混合式AI为底座,800V高压直流和集群级软件管理等一系列问题。更在于计算、由真实业务节奏决定算力建设,软硬件协同影响Token成本的50%以上。也在改变当前AI算力需求结构。持续提升算力的整体效率。如何持续、推理侧的算力需求正在快速增长。模型作答,活动期间,